Thale og Svenja har tatt for seg å forenkle språket i komplekse nyhetssaker. Resultatet av masteroppgaven deres ble et leseverktøy som transformerer nettbaserte nyhetsartikler til en regulerbar lettlest versjon. Prototypen er utviklet for norske nyhetsartikler og spesielt designet for lesere med dysleksi.
Rundt 5-8% av befolkningen har dysleksi. For disse individer er det ofte en utfordring å lese og forstå lange, komplekse tekster. Hensikten bak denne masteroppgaven var å utvikle en prototype som forenkler slike nyhetstekster, med mål om å forbedre lesbarheten for denne gruppen.
– Vi ønsket å tilrettelegge for en gruppe som trenger det, men som ofte overses. Det finnes mange verktøy for barn med dysleksi, men det er noe voksne også sliter med. Vi tenkte at det er et reelt behov for en løsning for denne gruppen, sier Svenja.
Hun mener at nyhetsartikler ofte er for lange. Når man bare ønsker kjernen av nyhetssaken, kan mye informasjon virke unødvendig.
For å undersøke dagens status innen tekstforenkling intervjuet Thale og Svenja journalister fra NTB, Klar Tale og Aftenposten Junior. Gjennom disse samtalene konstaterte studentene at det er langt mer utfordrende å forenkle en eksisterende artikkel sammenlignet med å skrive en helt ny. Journalistene uttrykte også at de savner et verktøy som kan bistå dem i deres arbeid.
Så var målet klart: Å utforske utviklingen av en prototype for automatisert tekstforenkling med fokus på tilpasning av nyhetsartikler for personer med dysleksi.
Forskning på automatisert tekstforenkling har pågått siden 90-tallet og er fortsatt et aktivt forskningsfelt. I Thales masteroppgave beskriver hun bregrensningene til språkmodeller og tekstforenklingen. Det er for eksempel vanskelig å bevare meningen, tonen og stilen til originalteksten i automatisert tekstforenkling. Også håndtering av flertydighet, ironi og humor er komplekst. Derfor krever tekstforenkling avansert språkteknologi for intelligent tilpasning.
– Da vi begynte arbeidet med prosjektet hadde vi en ide om hva vi ville gjøre. Vi ville bruke kunstig intelligens til å forenkle nyhetsartikler, men vi visste ikke hvordan vi skulle gjøre det. Vi vurderte alternativer, men alle innebar mye koding. Så kommer ChatGPT som er basert på GPT-3. Dette gjorde at vi valgte å bruke GPT-3 (ikke chatgpt) fordi språkmodellen gir gode resultater og tillater også at man kan gjøre justeringer, sier Svenja.
Med hjelp av kunstig intelligens, spesifikt generative språkmodeller, har kvinnene produsert tre versjoner av den opprinnelige teksten med ulike språknivåer.
Studentene testet flere tilnærminger til tekstforenkling gjennom å instruere GPT-3 modellen med ulike prompts.
– Det var kanskje det vanskeligste med utviklingen av prototypen. Det var ikke lett å finne prompts som genererte «gode nok» tekster i forhold til kravene vi hadde satt, sier Svenja.
Tekstene ble deretter testet to ganger med bruker i målgruppen og sammenlignet med tilbakemeldinger fra eksperter fra NTB, Klar Tale og Dysleksi Norge.
– Vi fikk veldig forskjellige tilbakemeldinger fra brukertesterne noen ganger. Det var for eksempel forskjellige meninger om hvor og hvordan elementene (tekst og verktøy) skulle vært plassert, hvilken ord-/bokstaveavstand er for mye/mindre osv. Det gjorde det utfordrende å finne en løsning som tilfredsstiller de forskjellige behovene som personer med dysleksi har, sier Svenja.
Responsen på prototypen fra journalistene var overveiende positiv, noe som indikerte at de implementerte endringene og funksjonalitetene ble godt mottatt.
Studentene valgte ti forskjellige nyhetssaker for å teste protypen.
– Utvalget inkluderte ulike nettaviser, en nettside om geoforskning og et nettsted for kjendis- og underholdningsnyheter. Det bestod av åtte nyhetsartikler, en kronikk og en fagartikkel om ulike emner som sport, politikk, kjendisnyheter, korrupsjon og kunstig intelligens, skriver Thale i sin masteroppgave.
For å videre teste kvaliteten på tekstforenkling utført av GPT-3, ble en nyhetsartikkel fra NTB forenklet. Samme artikkel var allerede forenklet av avisen Klar Tale, og dette ble brukt til sammenligning.
Total hadde studentene fire Figma-iterasjoner før de gikk over til det tekniske. Den første versjonen av prototypen er laget i Figma og er kun illustrasjoner. Den andre iterasjonen av prototypen ble også utviklet i Figma og gir mulighet for interaksjon med flere funksjoner. Etter det ble det bare noen små visuelle justeringer.
Prototypen bruker en artikkel fra NRK for å teste ulike forenklingsnivåer og andre verktøy. Den valgte artikkelen omhandler en hendelse på en militærkaserne der 150 soldater har hatt neseblødninger i løpet av en måned, og beskriver tiltak som er blitt iverksatt.
I løpet av uttestingen fant Thale og Svenja ut at formuleringen av promptene påvirker resultatene. Derfor var det nødvendig med manuell korrigering for å oppnå ønsket lesbarhet og kvalitet.
– Funnene indikerer at språkmodellen fortsatt har begrensninger når det gjelder å generere grammatisk korrekte setninger og å velge passende ord i konteksten ved omformulering av en eksisterende tekst, skriver Thale i oppgaven.
Andre problemer er maksgrensen på tokens som begrenser promptlengden, artikkellengden og den forenklede teksten.
– Etter en grundig evaluering kom vi frem til at instruksjonen «Forklar _ i en kort setning med enkle ord» ga de beste resultatene for to av ordforklaringene. Denne instruksjonen klarte å formidle betydningen av ordene på en klar og enkel måte.
Studentene oppdaget i arbeidet med prototypen at tekstene den produserer har mange logiske brister, skrivefeil og grammatikkfeil. GPT-3 klarer altså ikke å forenkle teksten tilfredsstillende.
Veileder professor Bjørnar Tessem som selv har flere tiårs erfaring med kunstig intelligens, roser studentene for oppgaven sin:
– Thale og Svenja har gjort en imponerende masteroppgave. De har testet generativ kunstig intelligens (ChatGPT) for å generere forenklede tekster for dyslektikere. Resultatene viser at generativ KI-teknologi ennå ikke er moden nok til dette formålet. Samtidig har de gjort et grundig interaksjonsdesign for brukergrensesnitt for dyslektiske nyhetslesere. De to har altså skapt viktig kunnskap for medier som ønsker å ta vare på lesere med dysleksi.
Thale og Svenja påpeker at det er viktig å fortsette å forbedre og optimalisere språkmodellene som brukes til tekstforenkling.
– Med fremtidig utvikling av språkmodeller og økende tokenkapasitet, samt inkorporering av retningslinjer for klarspråk direkte i modellene, kan vi forvente ytterligere forbedringer i automatisert tekstforenkling. Videre arbeid kan involvere utvikling av en mer fullstendig prototype som utfører tekstforenklingen direkte, både med tanke på funksjonaliteten og brukergrensesnittet, skriver Thale i masteroppgaven.
I tillegg foreslå Thale å forske på å utvikle mer avanserte og effektive algoritmer og metoder for automatisk evaluering av tekstforenkling.
